计算机辅助设计与图形学学报, 2023 小样本语义分割特征融合条件耦合交叉注意力

基于互引导条件耦合的小样本语义分割

刘胜男¹ 姜璐璐¹ 郑宛露¹ 王少荣^1,2^* 汪国平³

¹北京林业大学信息学院
²国家林业草原林业智能信息处理工程技术研究中心
³北京大学计算机学院

PDF

TL;DR提出互引导条件耦合(MGCC)网络，通过耦合信息生成模块实现像素级支持-查询特征融合，通过条件耦合模块抑制背景干扰，在PASCAL-5i和COCO-20i上取得优异性能。

Abstract

现有小样本语义分割方法普遍采用简单的融合策略实现跨分支信息传递，难以捕获复杂的特征交互信息。本文提出MGCC网络，通过耦合信息生成模块和条件耦合模块实现支持-查询分支的高效融合，使查询特征中的每个像素能够自适应地融合支持特征的像素级信息。

Method

现有方法在支持-查询分支融合时忽略像素级信息，未考虑查询特征与支持特征之间的相关性，且未有效区分查询图像的前景与背景，导致分割性能受限。

核心思想是通过交叉注意力机制度量查询-支持特征的像素级相似性，根据相似性动态重组支持特征生成耦合信息，再通过余弦相似性生成条件掩码抑制背景区域的信息吸收。

CIGM

耦合信息生成模块

通过金字塔池化获取多尺度支持特征，利用交叉注意力计算查询-支持像素级亲和力图，加权聚合生成自适应耦合特征。

CCM

条件耦合模块

基于支持前景全局表示与查询特征的余弦相似性生成条件掩码，抑制背景区域信息吸收，保留前景区域引导信息。

K-shot

K-shot融合策略

将K个支持图像的多尺度矩阵拼接作为键值对，通过平均操作融合支持原型，避免决定性信息被淹没。

MGCC网络由耦合信息生成模块和条件耦合模块组成。支持图像和查询图像通过共享CNN提取特征后，经CIGM生成自适应耦合特征，再经CCM筛选后通过跳跃连接与查询特征融合，最后经语义解码网络生成分割预测。

耦合信息生成模块首先通过PPM生成多尺度子支持特征并展平连接为特征矩阵，然后以查询特征为Q、支持特征矩阵为K和V计算亲和力图，加权聚合后经1x1卷积生成自适应耦合特征。这使每个查询像素都能获得与其最相关的支持像素信息。

条件耦合模块通过掩码平均池化获得支持前景全局表示Ps，计算Ps与每个查询像素的余弦相似性得到条件C，将C作为激活掩码与耦合特征进行哈达玛乘积，有效过滤背景区域的引导信息，减少背景干扰。

Results

PASCAL-5i (1-shot)

63.3%

MIoU

+0.4 vs SD-AANet ResNet50

PASCAL-5i (5-shot)

65.7%

MIoU

+0.2 vs SD-AANet ResNet50

COCO-20i (5-shot)

43.0%

MIoU

+0.9 vs RePRI ResNet50

COCO-20i (1-shot)

68.4%

FBIoU

+2.9 vs FECANet ResNet50

方法	Backbone	1-shot MIoU	5-shot MIoU	1-shot FBIoU	5-shot FBIoU
PFENet	ResNet50	60.8	61.9	73.3	73.9
SCL	ResNet50	61.8	62.9	71.9	72.8
SD-AANet	ResNet50	62.9	65.5	-	-
MGCC (Ours) ours	ResNet50	63.3	65.7	74.7	77.3

消融实验表明，耦合信息生成模块贡献最大，条件耦合模块进一步提升了性能。联合使用两个模块时效果最佳，1-shot MIoU从58.8%提升至63.3%。

Qualitative Results

Takeaway

通过像素级的交叉注意力机制实现支持-查询特征的精细化融合，结合条件掩码抑制背景干扰，是小样本语义分割中提升特征融合效率的有效途径。

Citation

@article{liu2023mgcc,
  title={基于互引导条件耦合的小样本语义分割},
  author={刘胜男 and 姜璐璐 and 郑宛露 and 王少荣 and 汪国平},
  journal={计算机辅助设计与图形学学报},
  volume={37},
  number={6},
  pages={973--982},
  year={2023},
  issn={1003-9775},
  doi={10.3724/SP.J.1089.2023-00457},
  url={https://www.jcad.cn/cn/article/doi/10.3724/SP.J.1089.2023-00457}
}